Рано или поздно любой администратор VMware vSphere сталкивается с проблемой разросшихся тонких дисков виртуальных машин, которые увеличиваются неизбежно по своей природе (при удалении файлов в гостевой ОС блоки не обнуляются и не отдаются обратно на хранилище с уменьшением VMDK).
Но, во-первых, SVMotion есть не у всех (так как в начальные издания vSphere эта технология не входит), а, во-вторых, есть более простой способ. Итак:
1. Давайте сначала "раздуем" исходный тонкий диск с помощью утилиты sdelete.
Было (18,74 ГБ):
Запускаем в гостевой ОС Windows утилиту:
sdelete -c
Стало (41,8 ГБ):
2. Очищаем удаленные блоки в гостевой ОС, заполняя их нулями.
Для этого запустим команду:
sdelete -z
3. Уменьшаем размер виртуального диска с помощью утилиты vmkfstools.
Делается это с помощью ключа -K (можно также использовать ключ --punchzero) в консоли сервера ESXi:
vmkfstools -K Test.vmdk
Вот и все, смотрим на получившийся размер:
Надо отметить, что утилита vmkfstools, запущенная с ключом -K, еще и может преобразовать обычный диск (zeroedthick или eagerzeroedthick) в thin disk с вычищением нулевых блоков и, соответственно, уменьшением размера vmdk.
Знакомьтесь: на видео ниже Джон и куча его проблем в виртуальной инфраструктуре - мало места на диске, недостаток ресурсов CPU, тормозящие ВМ и существенные затраты на обслуживание. Все эти проблемы достали Джона, поэтому он установил StarWind Virtual SAN, обеспечил высокую доступность и производительность виртуальных машин, решив попутно сразу несколько проблем, таких как, например, boot storm.
Ну и конечно он здорово сэкономил:
Узнать больше о продукте и скачать пробную версию StarWind Virtual SAN можно по этой ссылке.
В документе рассмотрено тестирование производительности 12-узлового кластера Virtual SAN на базе серверов Supermicro в рамках следующей логической архитектуры:
Подробная конфигурация хостов:
В целом инфраструктура тестирования выглядела так:
Для тестов использовалось средство Login VSI (о нем мы уже много писали), которое поставляется вместе с методологией тестирования:
Сводные результаты тестов:
Для получения более подробной информации о результатах по каждому тесту, используемых сценариях и конфигурациях обращайтесь к документу. Все 38 страниц полны картинок, графиков и табличек с цифрами - док составлен очень по делу. Для тех, кто планирует VDI на базе Virtual SAN очень полезный референс, как в плане архитектуры, так и в плане производительности.
Таги: VMware, View, Virtual SAN, VSAN, Storage, HA, VDI, Performance
В середине весны компания Symantec выпустила обновление своего продукта для резервного копирования данных физических и виртуальных машин Symantec Backup Exec 15. Этот продукт стал одним из первых, кто поддержал все новые фичи VMware vSphere 6, такие как Virtual Volumes (VVols) и Virtual SAN 6.0. Теперь это действительно удобное комплексное решение как для резервного копирования ВМ в гетерогенной виртуальной среде (VMware vSphere и Microsoft Hyper-V), так и для бэкапа данных физической инфраструктуры с корпоративными приложениями, такими как Microsoft SQL Server или Sharepoint.
На днях компания VMware выпустила интересный открытый документ "Virtualizing Microsoft Applications on VMware Virtual SAN", в котором описываются результаты тестирования бизнес-критичных приложений Microsoft в кластере отказоустойчивых хранилищ VMware VSAN.
В документе рассматривается стрессовое тестирование следующих приложений, работающих в кластере Virtual SAN, состоящем из 8 узлов:
Microsoft Exchange 2013 с поддержкой Database Availability Groups (DAG)
Microsoft SQL Server 2014 с включенными AlwaysOn Availability Groups (AAG)
Microsoft SharePoint 2013 как фронтэнд баз данных
Для теста использовалась такая конфигурация серверов:
ESX host CPU - 2 x Intel(R) Xeon(R) CPU E5-2690 v2 @ 3.00GHz 10C (60 GHz)
Результаты тестирования первого узла с ролью Mailbox средствами Jetstress:
Результаты тестирования второго узла с ролью Mailbox:
Результаты теста Load Generator:
Архитектура сервисов Microsoft SQL Server с технологией защиты данных Always On:
Для тестирования SQL Server использовался инструмент DVD Store. Конфигурация виртуальных машин:
Результаты тестов DVD Store.
Ну и в заключение - сводные результаты тестирования:
В итоге утверждается, что приложения Microsoft уровня Tier 1 прекрасно себя чувствуют в кластере VMware Virtual SAN, и их быстродействие мало чем отличается от ситуации, если бы на бэкэнде были аппаратные SAN/NFS-массивы.
Мы много писали про решение для создание отказоустойчивых хранилищ на базе локальных дисков VMware Virtual SAN 6.0 (еще вот тут и тут). Продукт этот достаточно дорогой и подходит, в основном, для средних/больших компаний или очень крутых маленьких компаний. Однако у вас есть возможность протестировать его в течение 6 месяцев абсолютно бесплатно, став как бы членом VMware User Group:
Заполнив форму из трех полей, вы попадете на страницу технической информации о продукте, а через некоторое время получите по почте лицензию VMware Virtual SAN на 6 месяцев на 6 процессоров для трех хост-серверов VMware ESXi, которые будут узлами кластера хранения.
Кстати, все нужные документы про VMware Virtual SAN:
Это гостевой пост компании ИТ-ГРАД. В нашу эпоху бурного роста объемов информации и «хотелок» бизнеса подход к сохранности данных тоже требует перемен. Вспомните, как раньше небольшие и средние компании решали вопрос с временной недоступностью своих сервисов. Если кратко — то никак. Полагались на авось и резервные копии. Сейчас же рост популярности виртуализации и облачных вычислений фактически уравнял в возможностях компании с любыми бюджетами.
Посмотрим, какие есть варианты организации катастрофоустойчивого решения с использованием облаков.
Многие из вас знакомы с продуктом VMware Site Recovery Manager, который позволяет построить катастрофоустойчивую виртуальную инфраструктуру за счет репликации виртуальных машин на хосты резервной площадки, помещения или стойки. Как известно, VMware SRM может использовать два типа репликации:
Array Based Replication - репликация уровня массива, котора требует наличия соответствующего типа дискового массива на основной и резервной площадке, канала репликации, а также, собственно, программного продукта, который реализует эту репликацию. Как правило, данный тип представляет собой синхронную репликацию с возможностью быстрого переключения на резервную инфраструктуру в случае сбоя без потери данных.
vSphere Replication - репликация уровня массива, которая не требует ничего кроме сетевого соединения между площадками, но она происходит в асинхронном режиме, а значит возможна потеря данных в случае сбоя.
Давайте попробуем рассмотреть особенность обоих методов репликации в таблице:
Категория
Репликация уровня массива (Array-Based Replication)
Репликация уровня хоста ESXi (vSphere Replication)
Тип репликации
Репликация на уровне массива по выделенному каналу
Репликация на уровне хостов ESXi по сети
Минимальная и максимальная потеря данных (требования к контрольной точке восстановления - RPO)
От 0 до максимально определенной вендором массива.
От 15 минут до 24 часов
Максимальное число ВМ
До 5 000 защищенных ВМ и до 2 000 машин, одновременно восстанавливаемых с одного vCenter
До 2 000 ВМ (и защищаемых, и одновременно восстанавливаемых) на один vCenter
Порядок записи данных на резервной инфраструктуре (Write order fidelity)
Write order fidelity поддерживается для нескольких ВМ в пределах одной consistency group
Write order fidelity поддерживается для дисков VMDK одной ВМ. Для нескольких ВМ одной consistency group это не гарантируется.
Уровень репликации
Репликация на уровне LUN/VMFS или томов NFS
Репликация на уровне виртуальной машины
Метод настройки репликации
Репликация настраивается на стороне дискового массива средствами продуктов вендора
Репликация настраивается и управляется через vSphere Web Client
Тип дискового массива
Необходим массив с поддержкой репликации на обеих площадках (например, EMC RecoverPoint, NetApp vFiler, IBM SVC и т.п.)
Любое хранилище, включая локальное хранилище (в случае наличия в списке vSphere HCL)
Тип хранилища и протокол
Только для хранилищ с протоколами FC, iSCSI или NFS
Поддержка ВМ на локальном хранилище, VSAN, FC, iSCSI или NFS
Стоимость решения
Относительно высокая. Нужна лицензия на функции Replication и Snapshot.
vSphere Replication включена в издание vSphere Essentials Plus 5.1 и более высокие
Развертывание
Необходимо привлечение администраторов хранилищ и, возможно, сетевых администраторов
Администратор vSphere может настроить самостоятельно
Консистентность данных на уровне приложений
В зависимости от дискового массива и производителя консистентность приложений может поддерживаться средствами агентов в гостевой ОС ВМ
Поддержка VSS и Linux file system application consistency
Возможность репликации ВМ, защищенных технологией Fault Tolerance (FT)
Можно реплицировать FT ВМ, но при восстановлении FT будет выключена. Также не поддерживаются ВМ с несколькими vCPU.
Репликация ВМ с включенной FT не поддерживается
Возможность репликации выключенных ВМ, шаблонов, связанных клонов (Linked clones), ISO-образов
Все эти объекты (как и любые другие файлы на виртуальных хранилищах) можно реплицировать на уровне томов VMFS
Можно реплицировать только запущенные виртуальные машины.
Поддержка томов RDM
Тома RDM в режиме физической и виртуальной совместимости могут быть реплицированы
Только тома RDM в режиме виртуальной совместимости (virtual mode)
Поддержка кластеров MSCS
Да, машины, являющиеся частью кластера MSCS, можно реплицировать
Нет, репликация ВМ в составе MSCS-кластера не поддерживается (нельзя реплицировать диски в режиме записи с нескольких хостов - multi-writer)
Поддержка виртуальных сервисов vApp
Да, полностью поддерживается
Нет, объекты vApp реплицировать нельзя. Можно реплицировать машины виртуальных сервисов по отдельности, а потом вручную собрать из них vApp на резервной площадке.
Поддержка версий хостов vSphere
Поддерживаются версии vSphere 3.5-6.0
Только начиная с vSphere 5.0 и более поздние версии
Несколько точек восстановления (Multiple point in time - MPIT)
Снапшоты Multiple point in time и возможность отката к ним поддерживается только отдельными производителями (например, в продукте EMC RecoverPoint)
До 24 точек восстановления
Снапшоты
Поддержка репликации ВМ со снапшотами в неизменяемом виде
Поддержка репликации ВМ со снапшотами, на на целевой площадке они будут удалены (ВМ будет в последнем состоянии, без снапшотов)
Реакция на сбой хоста
Не влияет, так как репликация идет независимо на уровне дискового массива
При сбое хоста, машина перезапускается на другом ESXi и вызывается полная ресинхронизация ВМ (больше подробностей в vSphere Replication FAQ)
Также при использовании репликации уровня дискового массива рекомендуется прочитать документацию к соответствующему компоненту SRA (storage replication adapter).
Не так давно мы писали о том, что компания StarWind, производящая продукт для создания отказоустойчивых хранилищ Virtual SAN, выпустила документ о технологии VAAI, которая позволяет передать часть операций по работе с хранилищем на сторону дискового массива.
Недавно компания EMC сделала доступным виртуальный модуль (Virtial Appliance) vVNX community edition, представляющий собой готовую ВМ в формате OVF, с помощью которой можно организовать общее хранилище для других виртуальных машин.
Видеообзор vVNX с EMC World:
Сам продукт фактически представляет собой виртуальный VNXe 3200. Для его работы вам потребуется:
VMware vSphere 5.5 или более поздняя версия
Сетевая инфраструктура с двумя адаптерами 1 GbE или 10 GbE
Replication – возможность асинхронной репликации на уровне блоков для локальных и удаленных инстансов vVNX. Также поддерживается репликация между vVNX и настоящим VNXe 3200.
Unified Snapshots – поддержка технологии снапшотов как на уровне блоков, так и на уровне файлов. Для этого используется технология Redirect on Write (ROW).
VMware Integration – vVNX предоставляет несколько механизмов интеграции с платформой VMware vSphere, таких как VASA, VAI и VAAI. Это позволяет производить мониторинг хранилищ vVNX из клиента vSphere, создавать хранилища из Unisphere, а также использовать техники compute offloading.
Flexible File Access – к хранилищам можно предоставить доступ через CIFS или NFS. Причем оба протокола можно использовать для одной файловой системы. Также можно использовать FTP/SFTP-доступ.
Для виртуальной машины с Virtual VNX потребуется 2 vCPU, 12 ГБ оперативной памяти и до 4 ТБ хранилища для виртуальных дисков.
Также кое-где на сайте EMC заявляется, что vVNX поддерживает технологию Virtual Volumes (VVOls) от VMware, что позволяет потестировать эти хранилища, не имея физического хранилища с поддержкой этого механизма. Это неверно. Поддержка VVols в vVNX будет добавлена только в третьем квартале этого года (пруф).
Пока можно посмотреть вот это видео на эту тему:
Скачать vVNX и получить бесплатную лицензию к нему можно по этой ссылке. Материалы сообщества, касающиеся vVNX объединены по этой ссылке, а вот тут можно посмотреть видео развертывания продукта и скачать гайд по установке. Ну и вот тут вот доступен FAQ.
Компания ИТ-ГРАД, предоставляющая услуги аренды инфраструктуры VMware, делится опытом резервного копирования данных в облако с помощью средства Veeam Cloud Connect. Тема резервного копирования была, есть и будет актуальной во все времена. С каждым годом объем данных, хранящихся как на физических, так и на облачных площадках различных компаний, постоянно увеличивается. Исследование, проведенное аналитической компанией Gartner, показало, что рост объема данных является самой большой проблемой инфраструктуры ЦОДов в крупных организациях...
Компания VMware анонсировала плагин для мониторинга состояния кластера хранилищ - Virtual SAN 6.0 Health Check Plugin. Напомним, что о возможностях VSAN 6.0 мы писали вот тут.
На самом деле, новый плагин от VMware полезен не только тем, что мониторит состояние компонентов решения во время работы, но и позволяет понять, что вы все развернули и настроили правильным образом, а кластер готов к промышленной эксплуатации. Расскажем о новом плагине на основе описания, которое привел Cormac Hogan.
Плагин состоит из двух компонентов: плагин для vCenter и установочные VIB-пакеты для хостов VMware ESXi. Для vCenter под Windows доступен MSI-установщик плагина, а для vCSA есть соответствующий RPM-пакет. По умолчанию Healthcheck-сервис отключен, когда вы нажмете кнопку "Enable" - на все хосты ESXi установится VIB-пакет агента.
После установки VIB'а, если у вас есть DRS-кластер, хосты будут переходить в Maintenance Mode и перезагружаться, поочередно накатывая обновление. Если DRS-кластера нет, то придется делать это вручную.
После установки агентов, вы будете видеть состояние основных компонентов в разделе Monitor > Virtual SAN:
Важный момент - плагин проверяет совместимость вашего оборудования с требованиями VMware Compatibility Guide к кластеру Virtual SAN, что обычно является головной болью администраторов vSphere. Если vCenter имеет доступ в интернет, то можно напрямую загрузить базу данных HCL, если же нет - ее можно скачать вручную и импортировать.
Прикольная функция - каждая проверка привязана к базе знаний VMware, поэтому если у вас загорелось предупреждение или ошибка, можно нажать кнопку "Ask VMware", и откроется страничка с подробной информацией по теме:
Интересно также то, что Virtual SAN Health Check Plugin ведет себя не только реактивно, реагируя на возникающие ошибки, но и способен выполнять набор проактивных тестов. Например, это может быть полезно, когда нужно проверить кластер хранилищ перед его вводом в промышленную эксплуатацию - проверить состояние виртуальных машин, эффективную ширину канала между узлами и т.п. Ну и, конечно, же полезно посмотреть результаты теста производительности, они будут показаны в колонках IOPS и Latency:
Кстати, можно регулировать время выполнения теста.
Также есть еще одна важная и полезная вещь - поддержка Support Assistant. Если у вас есть открытый Service Request (SR), логи могут быть загружены через Support Assistant и ассоциированы с вашим SR.
Компания Veeam Software, недавно выпустившая бесплатное средство Veeam Endpoint Backup Free для резервного копирования данных любых компьютеров, продолжает радовать администраторов своими бесплатными утилитами. На этот раз выпущено бесплатное средство Veeam FastSCP for Microsoft Azure, позволяющее осуществлять копирование между виртуальными машинами в облаке и локальной инфраструктурой (в обе стороны).
Многие из вас помнят утилиту Veeam FastSCP, которая копировала данные между любыми Linux-системами (она теперь часть бесплатного Veeam Backup), теперь есть такое и для облака от Microsoft. Раньше можно было использовать RDP для этой задачи - но у этого протокола есть серьезные проблемы при использовании WAN-соединений, к тому же передача файла ограничена двумя гигабайтами. Veeam не имеет этих ограничений.
Возможности утилиты:
Безопасная передача файла без необходимости шифрования трафика и создания VPN-соединения.
Возможность копирования из/в виртуальную машину на Microsoft Azure без необходимости держать окно утилиты открытым до окончания копирования.
Возможность использования планировщика для задач копирования в ночное время или периодического копирования файлов.
Интерфейс на основе мастера, который позволяет создать задачи резервного копирования в несколько кликов.
Вы можете установить Veeam FastSCP for Microsoft Azure в следующих ОС:
Microsoft Windows 7 SP1 or later (32-bit and 64-bit versions)
Microsoft Windows Server 2008 R2 SP1 or later
Надо отметить, что данное средство от Veeam предназначено только для обмена файлами между Windows-системами и не предназначено для передачи VHD/VHDX-файлов на Azure Blob storage. Более детальную информацию о продукте можно найти в этом посте от Veeam.
Скачать Veeam FastSCP for Microsoft Azure можно после регистрации по этой ссылке.
Компания StarWind, производитель средства номер 1 для создания отказоустойчивых хранилищ Virtual SAN, приглашает на бесплатный вебинар "Snapshots VS Replication", где будут рассмотрены два подхода к организации защиты данных - снапшоты и репликация. На мероприятии будут рассмотрены преимущества и недостатки каждого из методов.
На вебинаре будут затронуты следующие вопросы:
Как снапшоты и репликация работают в виртуальной инфраструктуре VMware и Microsoft.
Преимущество снапшотов - быстрое восстановление работы сервиса.
Преимущество репликации - создание резервной копии на другом устройстве, массиве или площадке.
Вебинар пройдет 20 мая в 18-00 по московскому времени.
Компания StarWind, производитель лучшего средства для создания программных отказоустойчивых хранилищ Virtual SAN, выпустила два интересных документа на тему поддержки технологий
Второй документ - StarWind Virtual SAN ODX (Off-loaded Data Transfer) Configuration and Performance Tuning Guide - расскажет о том, как можно узнать включена ли поддержка ODX со стороны гипервизора Microsoft Hyper-V. Так же как и VAAI у VMware, технология ODX у Microsoft позволяет передать часть операций гипервизора с хранилищем на сторону дискового массива, что существенно повышает производительность ВМ.
Таги: StarWind, Whitepaper, VAAI, ODX, VMware, Microsoft
Не так давно мы писали про архитектуру и возможности технологии VVols в VMware vSphere 6, которая позволяет использовать хранилища виртуальных машин напрямую в виде томов на дисковом массиве за счет использования аппаратных интеграций VASA (vSphere APIs for Storage Awareness).
На днях компания VMware выпустила на эту тему преинтересный документ "vSphere Virtual Volumes Getting Started Guide", который вкратце описывает саму технологию, а также приводит пошаговое руководство по использованию vSphere Web Client для быстрого старта с VVols:
Основные темы документа:
Компоненты vSphere Virtual Volumes
Требования для развертывания VVols
Настройка VVols на практике
Совместимость VVols с другими продуктами и технологиями VMware
Команды vSphere Virtual Volumes CLI
Интересно также рассматривается архитектура взаимодействия между компонентами VVols:
Документ интересный и полезный, так как составлен в виде пошагового руководства по настройке политик хранения, маппинга хранилищ на эти политики и развертывания ВМ на томах VVols.
Таги: VMware, VVols, Whitepaper, vSphere, Web Client
Компания Veeam, как всегда первой проявила инициативу и оперативность в этом вопросе - вышел Veeam Availability Suite v8 Update 2, все компоненты которого полностью поддерживают vSphere 6. Полностью - это значит, что Veeam ONE v8 Update 2 - единое решение для мониторинга и отчетности в виртуальной среде, а также Veeam Backup and Replication v8 Update 2 - продукт номер 1 для резервного копирования виртуальных машин, полностью работают с шестой версией платформы виртуализации от VMware и не имеют там никаких ограничений.
Кроме этого, в Veeam Availability Suite v8 Update 2 появились следующие новые возможности, недоступные в продуктах других вендоров:
Поддержка VMware Virtual Volumes (VVols) и VMware Virtual SAN 2.0.
Механизм Storage Policy-Based Management (SPBM) для резервного копирования и восстановления (управление на базе политик).
Возможность резервного копирования и репликации машин, защищенных технологией Fault Tolerance (FT). Это очень круто!
Интеграция с тэгами vSphere 6.
Поддержка Cross-vCenter vMotion.
Поддержка функций Quick Migration на тома VVols (переезд машин с классических VMFS-хранилищ).
Режим транспорта данных Hot-Add для виртуальных SATA-дисков.
То есть теперь при восстановлении ВМ можно выбирать хранилище, подпадающее под определенные политики (по умолчанию будет использована исходная политика):
Также появилась поддержка продукта Veeam Endpoint Backup FREE. Теперь в консоли Veeam Backup & Replication мы видим бэкапы с рабочих станций и серверов, сделанные средствами Endpoint Backup.
Вот тут, например, мы задаем репозиторию пермиссии на сохранение в него бэкапов Veeam Endpoint Backup FREE:
Veeam ONE v8 Update 2 тоже получил несколько новых возможностей и теперь поддерживает мониторинг всех компонентов vSphere 6, включая такие как, например, тома VVols.
Некоторое время назад мы писали про обработку гипервизором VMware vSphere таких состояний хранилища ВМ, как APD (All Paths Down) и PDL (Permanent Device Loss). Вкратце: APD - это когда хост-сервер ESXi не может получить доступ к устройству ни по одному из путей, а также устройство не дает кодов ответа на SCSI-команды, а PDL - это когда хост-серверу ESXi удается понять, что устройство не только недоступно по всем имеющимся путям, но и удалено совсем, либо сломалось.
Так вот, в новой версии VMware vSphere 6.0 появился механизм VM Component Protection (VMCP), который позволяет обрабатывать эти ситуации со стороны кластера высокой доступности VMware HA в том случае, если в нем остались другие хосты, имеющие доступ к виртуальной машине, оставшейся без "хост-хозяина".
Для того чтобы это начало работать, нужно на уровне кластера включить настройку "Protect against Storage Connectivity Loss":
Далее посмотрим на настройки механизма Virtual Machine Monitoring, куда входят и настройки VM Component Protection (VMCP):
С ситуацией PDL все понятно - хост больше не имеет доступа к виртуальной машине, и массив знает об этом, то есть вернул серверу ESXi соответствующий статус - в этом случае разумно выключить процесс машины на данном хосте и запустить ВМ на других серверах. Тут выполняется действие, указанное в поле Response for a Datastore with Permanent Device Loss (PDL).
Со статусом же APD все происходит несколько иначе. Поскольку в этом состоянии мы не знаем пропал ли доступ к хранилищу ВМ ненадолго или же навсегда, происходит все следующим образом:
возникает пауза до 140 секунд, во время которой хост пытается восстановить соединение с хранилищем
если связь не восстановлена, хост помечает датастор как недоступный по причине APD Timout
далее VMware HA включает счетчик времени, который длится ровно столько, сколько указано в поле Delay for VM failover for APD (по умолчанию - 3 минуты)
по истечении этого времени начинается выполнение действия Response for a Datastore with All Paths Down (APD), а само хранилище помечается как утраченное (NO_Connect)
У такого механизма работы есть следующие особенности:
VMCP не поддерживает датасторы Virtual SAN - они будут просто игнорироваться.
VMCP не поддерживает Fault Tolerance. Машины, защищенные этой технологией, будут получать перекрывающую настройку не использовать VMCP.
Как мы недавно писали, компания StarWind Software, производитель средства номер 1 - Virtual SAN, предназначенного для создания отказоустойчивых хранилищ виртуальных машин на платформах VMware vSphere и Microsoft Hyper-V, запустила инициативу вебинаров по четвергам в неформально формате "On Tap" (то есть в розлив). Инициатива не заглохла, а, наоборот, живет и развивается.
Сегодня в 22-00 по московскому времени Анатолий Вильчинский расскажет вам о том, как можно использовать один единственный продукт для хранилищ ВМ и операций с ними в виртуальной инфраструктуре Hyper-V.
Зарегистрироваться на вебинар можно по этой ссылке.
Этот вебинар продолжает серию технических мероприятий StarWind, в рамках которых подробно рассматриваются довольно интересные глубокие темы. На этот раз речь пойдет об использовании технологий Offloaded Data Transfer (ODX) и APIs for Array Integration (VAAI), которые позволяют передать исполнение до 30% дисковых операций на сторону SAN (дисковый массив или серверы-хранилища), не затрагивая подсистему ввода-вывода хост-серверов Microsoft Hyper-V или VMware ESXi.
Мероприятие пройдет послезавтра, 21 апреля в 21-00 по московскому времени.
Не так давно мы писали про технологию Virtual Volumes (VVols), которая полноценно была запущена в новой версии платформы виртуализации VMware vSphere 6. VVols - это низкоуровневое хранилище для виртуальных машин, с которым позволены операции на уровне массива по аналогии с теми, которые доступны для традиционных LUN - например, снапшоты дискового уровня, репликация и прочее.
VVols - это один из типов хранилищ (Datastore) в vSphere:
Тома vVOLs создаются на дисковом массиве при обращении платформы к новой виртуальной машине (создание, клонирование или снапшот). Для каждой виртуальной машины и ее файлов, которые вы сейчас видите в папке с ВМ, создается отдельный vVOL.
Многие администраторы задаются вопросом: а почему VVols - это крутая штука, нужны ли они вообще? VMware в своем блоге отвечает на этот вопрос. Попробуем изложить их позицию здесь вкратце.
Ну, во-первых, VVols дают возможность создавать аппаратные снапшоты, клоны и снапклоны на уровне одной виртуальной машины, а не целых LUN, но это неконцептуально. Вопрос следует понимать глубже.
Все идет из концепции SDDC (Software Defined Datacenter), которая подразумевает абстракцию всех уровней аппаратных компонентов (вычислительные ресурсы, сети, хранилища) на программный уровень таким образом, чтобы администратор виртуальных ресурсов не ломал себе голову насчет физического устройства датацентра при развертывании новых систем. Иными словами, при создании виртуальной машины администратор должен определить требования к виртуальной машине в виде политики (например система Tier 1), а программно-определяемый датацентр сам решит где и как эту машину разместить (хост+хранилище) и подключить ее к сети (тут вспомним про продукт VMware NSX).
С точки зрения хранилищ (SDS - software defined storage) эта концепция реализуется через подход Storage Policy Based Management (SPBM), предполагающий развертывание новых систем на хранилищах, которые описаны политиками. Этого мы уже касались в статье "VMware vSphere Storage DRS и Profile Driven Storage - что это такое и как работает".
Если раньше дисковый массив определял возможности хранилища, на котором размещалась ВМ (через LUN для Datastore), и машина довольствовалась тем, что есть, то теперь подход изменился: с Virtual Volumes, к которым привязаны политики виртуальных машин, сама машина "рассказывает" о своих требованиях дисковому массиву, который уже ищет, где он может ее "поселить". Этот подход является более правильным с точки зрения автоматизации и человеческого фактора (ниже расскажем почему).
Представим, что у нас есть три фактора, которые определяют качество хранилища:
Тип избыточности и размещения данных (например, RAID - Stripe/Mirror)
Наличие дедупликации (да/нет)
Тип носителя (Flash/SAS/SATA)
Это нам даст 12 возможных комбинаций типов LUN, которые мы можем создать на дисковом массиве:
Соответственно, чтобы учесть все такие комбинации требований при создании виртуальных хранилищ (Datastores), мы должны были бы создать 12 LUN. Но на этом проблемы только начинаются, так как администратор всегда стремится выбрать лучшее с его точки зрения доступное хранилище, что может привести к тому, что LUN1 у нас будет заполнен под завязку системами разной критичности, а новые критичные системы придется размещать на LUN более низкого качества.
На помощь тут приходят политики хранилищ (VM Storage Policies). Например, мы создаем политики Platinum, Silver и Gold, для которых определяем необходимые поддерживаемые хранилищами функции, которые обоснованы, например, критичностью систем:
Если говорить о примере выше, то Platinum - это, например, хранилище с характеристиками LUN типов 1 и 3.
Интерфейс vSphere Web Client нам сразу показывает совместимые и несовместимые с этими политиками хранилища:
Так вот при развертывании новой ВМ администратору должно быть более-менее неважно, на каком именно массиве или LUN будет расположена машина, он должен будет просто выбрать политику, которая отражает его требования к хранилищу. Удобно же!
При создании политики администратор просто выбирает провайдера сервисов хранения (в данном случае массив NetApp с поддержкой VVols) и определяет необходимые поддерживаемые фичи для набора правил в политике:
После этого при развертывании новой виртуальной машины администратор просто выбирает нужную политику, зная обеспечиваемый ей уровень обслуживания, и хранилищем запускается процесс поиска места для новой ВМ (а точнее, ее объектов) в соответствии с определенными в политике требованиями. Если эти требования возможно обеспечить, то создаются необходимые тома VVOls (как бы отдельные LUN для объектов машины). Таким образом, с помощью политик машины автоматически "вселяются" в пространство хранения дисковых массивов в соответствии с требованиями, не позволяя субъективному человеку дисбалансировать распределение машин по хранилищам различных ярусов. Вот тут и устраняется человеческий фактор, и проявляется сервисно-ориентированный подход: не машину "селят" куда скажет дядя-админ, а система выбирает хранилище для ВМ, которое соответсвует ее требованиям.
Компания VMware на днях выпустила весьма интересный документ "VMware Horizon 6 Storage Considerations", в котором рассматриваются различные рекомендации при построении инфраструктуры хранилищ для виртуальных ПК на базе решения VMware Horizon View, а также других продуктов EUC-линейки VMware.
Документ весьма технический и будет полезен тем, кто хочет разобраться в деталях производительности хранилищ, от которых будет зависеть скорость работы виртуальных ПК на платформе VMware Horizon. Например, вот уровни абстракции хранилищ и структура задержек, возникающих при прохождении SCSI-команд к данным виртуальной машины (об этом мы подробно писали вот тут):
Помимо, собственно, самого решения VMware Horizon View, в документе рассматриваются еще и такие продукты, как App Volumes, Mirage, Workspace Portal и Virtual SAN.
Основные разделы:
VMware Horizon Architecture
Capacity and Sizing Considerations
Storage Platform Considerations
VMware App Volumes Storage Considerations
Workspace Portal Storage Considerations
Mirage Storage Considerations
Horizon 6 Storage Enhancements
Скачать "VMware Horizon 6 Storage Considerations" можно по этой ссылке.
Компания StarWind, производитель средства номер 1 для создания программных хранилищ под виртуализацию - Virtual SAN, выпустила новый документ "Virtual SAN Reference Architecture for Dell PowerEdge R730", описывающий референсную архитектуру построения отказоустойчивых кластеров хранилищ на базе этой аппаратной платформы.
Основная цель документа - предоставить информацию конечному пользователю, системному интегратору или OEM-производителю о том, как правильно развернуть решение StarWind на серверах Dell для целей серверной виртуализации или виртуализации настольных ПК предприятия. Развертывание решения Virtual SAN описывается по шагам с развернутыми комментариями.
В документе описана как двухузловая конфигурация кластера хранилищ на базе оборудования Dell:
Как многие из вас знают, одной из новых возможностей VMware vSphere 6.0 в плане хранилищ стала новая архитектура Virtual Volumes (VVols). VVols - это низкоуровневое хранилище для виртуальных машин, с которым позволены операции на уровне массива по аналогии с теми, которые сегодня доступны для традиционных LUN - например, снапшоты дискового уровня, репликация и прочее. Тома VVols создаются на дисковом массиве при обращении платформы к новой виртуальной машине (создание, клонирование или снапшот). Для каждой виртуальной машины и ее файлов, которые вы видите в папке с ВМ, создается отдельный VVol.
Между тем, поскольку технология VVol на сегодняшний день находится в первой своей релизной версии, а продуктов у VMware очень много, на сайте VMware появился список продуктов (в пункте 1 выберите Virtual Volumes), с которыми VVols работают, и тех, где поддержка еще не заявляена.
В целом можно сказать, что внедрять VVols в производственной среде полноценно пока рано, первая версия технологии предназначена скорее для тестирования и пробной эксплуатации с отдельными системами предприятия.
Продукты и технологии, которые поддерживают Virtual Volumes (VVols):
Продукты VMware:
VMware vSphere 6.0.
VMware vRealize Automation 6.2.
VMware Horizon 6.1.
VMware vSphere Replication 6.0
VMware NSX for vSphere 6.x
Возможности платформы VMware vSphere 6.0:
Storage Policy Based Management (SPBM)
Thin Provisioning
Linked Clones
Native Snapshots
View Storage Accelerator also known as Content Based Read Cache (CBRC)
Storage vMotion
vSphere Flash Read Cache
Virtual SAN (VSAN)
vSphere Auto Deploy
High Availability (HA)
vMotion
xvMotion
vSphere Software Development Kit (SDK)
NFS version 3.x
Продукты и технологии, которые НЕ поддерживают Virtual Volumes (VVols):
Продукты VMware:
VMware vRealize Operations Manager 6.x
VMware vCloud Air
VMware Site Recovery Manager 5.x to 6.x
VMware vSphere Data Protection 5.x to 6.x
VMware Data Recovery 2.x
VMware vCloud Director 5.x
Возможности VMware vSphere 6.0:
Storage I/O Control
NFS version 4.1
IPv6
Storage Distributed Resource Scheduler (SDRS)
Fault Tolerance (FT) + SMP-FT
vSphere API for I/O Filtering (VAIO)
Array-based replication
Raw Device Mapping (RDM)
Microsoft Failover Clustering (MSCS)
Отслеживать официальную поддержку VVols со стороны продуктов и технологий VMware можно в специальной KB 2112039. Там же, кстати, находится и полезный FAQ.
Для поиска совместимого с технологией VVols оборудования необходимо использовать VMware Compatibility Guide:
Как вы знаете, мы часто пишем про продукт Virtual SAN компании StarWind, который на данный момент является средством номер один для создания отказоустойчивых кластеров хранилищ для виртуальных машин VMware vSphere и Microsoft Hyper-V. Но многие из вас знают, что и у VMware есть продукт для создания отказоустойчивых кластеров для хранения виртуальных машин - VMware Virtula SAN.
Многие пользователи хотели бы узнать - в чем разница между этими двумя продуктам? Чтобы получить ответ на этот вопрос и понять, что VMware VSAN подходит не для всех ситуаций, приходите на бесплатный вебинар "VMware and StarWind Virtual SAN: from Two, to Infinity and Beyond", который пройдет 2 апреля в 19-00 по московскому времени:
Вебинар проводит Анатолий Вильчинский, так что вы спокойно можете задавать вопросы на русском языке.
Как раз самое время получить немного интересной информации о программных хранилищах после работы. Кстати, каждый участник имеет шанс получить Full Conference Pass на конференцию Microsoft Ignite 2015. Победители будут объявлены 20 апреля в блоге StarWind.
Вскоре после релиза новой версии платформы виртуализации VMware vSphere 6.0 компания VMware объявила о доступности для загрузки обновленного решения VMware Site Recovery Manager 6.0, предназначенного для создания катастрофоустойчивой виртуальной инфраструктуры. Напомним, что о возможностях прошлой версии - VMware SRM 5.8 - мы писали вот тут.
В продукте VMware SRM 6.0 появилось четыре основных улучшения:
1. Улучшенная совместимость с Storage DRS и Storage vMotion.
Ранее была только базовая совместимость с этими продуктами - во-первых, при перемещении с помощью SVMotion машины из consistency group, защищенной SRM, не выводилось никакого предупреждения (теперь есть), а, во-вторых, теперь Datastore Cluster в SDRS поддерживает несколько consistency groups, защищенных SRM:
То есть, как бы получается, что теперь между этими всеми продуктами полная совместимость, и решение можно использовать более гибко.
2. Упрощенные требования в SSL-сертификатам.
Теперь SRM 6.0 полностью интегрирован со службами vSphere 6.0 platform services (SSO, Authorization, Licensing, Tags и прочее), что делает удобным развертывание и установку сертификатов SSL для безопасного взаимодействия компонентов.
3. Полная поддержка VMware vSphere 6.0.
SRM 6.0 теперь поддерживается в связке со следующими компонентами:
vCenter Server 6.0
vSphere Web Client 6.0
vSphere Replication, version 6.0 (если используется)
Большинство SRA (Storage Replication Adapters), которые поддерживались в версии SRM 5.8, продолжают поддерживаться и в 6.0. Для точной информации смотрите Compatibility Guide.
Все максимальные лимиты vSphere 6.0 также поддерживаются и со стороны SRM 6.0. Кроме того, теперь стали доступны для развертывания различные топологии совместно с SRM, описанные вот тут. Об этом постараемся написать вскоре подробнее.
4. Улучшения IP-кастомизации.
Утилита dr-ip-customizer теперь при кастомизации IP-адреса виртуальной машины обновляет как IPv4, так и IPv6 спецификацию. Кроме того, в этом плане поддерживается обратная совместимость с версиями SRM 5.x.
Скачать VMware Site Recovery Manager 6.0 можно по этой ссылке.
Компания StarWind, поставщик ПО номер 1 для создания отказоустойчивых кластеров хранилищ в инфраструктурах VMware vSphere и Microsoft Hyper-V (о возможностях продукта - тут), 25 марта проводит бесплатный вебинар "Scale Out Freely: No Hardware Lock-in", посвященный масштабированию кластеров хранилищ.
На мероприятии пойдет речь как о построении минимально необходимого кластера хранилищ (на базе двух узлов, когда вам все пытаются продать три), плюс расскажут про возможность использования любого гипервизора в инфраструктуре кластеров, а также посвятят в тонкости горизонтального и вертикального масштабирования этой инфраструктуры.
Мероприятие пройдет 25 марта в 22-00 по московскому времени.
Послушайте Максима Коломейцева, который будет рассказывать о следующих вещах:
Горизонтальное и вертикальное масштабирование кластеров хранилищ без жесткой привязки к одному вендору оборудования.
Масштабирование кластеров с любым гипервизором.
Одновременная поддержка сценариев разделения вычислительных мощностей с хранилищами и поддержка гиперконвергентных инфраструктур (оба этих компонента вместе).
Как все присутствующие здесь знают, компания VMware недавно выпустила новую версию решения для виртуализации серверов VMware vSphere 6, в которой присутствует огромное количество новых функций.
Но стоит ли делать апгрейд на новую версию прямо сейчас? Давайте попробуем рассмотреть все за и против.
Аспект обновления
Почему стоит обновлять на vSphere 6
Почему не стоит обновлять
Баги
Многие баги, которые вас мучали, теперь исправлены.
Традиционно в новых версиях VMware vSphere 6 могут быть очень серьезные баги, вплоть до нарушения функционирования всей ИТ-инфраструктуры (например, вот). Вы первыми будете наступать на все грабли.
Жизненный цикл поддержки
vSphere 5.0 и 5.1 прекратят поддерживаться (End of General Support) в августе 2016, а
VMware vSphere 6.0 поддерживается аж до марта 2020 (уже люди будут жить на Марсе).
VMware vSphere 5.5 поддерживается до сентября 2018 года. Времени очень много (больше, чем до ЧМ-2018).
Железо и поддерживаемые устройства
Появились новые драйвера (чипсеты, устройства) и список HCL расширен (плюс гостевые ОС), суперновые железки будут работать.
Имейте в виду, что старые железки (2-3 года) исключаются из комплекта драйверов мажорной версии vSphere. Ваше текущее оборудование может быть в этом списке.
Новые фичи
Их действительно много!
Но в основном они для издания vSphere Enterprise Plus (хотя в этот раз даже для Standard что-то перепало).
Лицензии (я уже купил)
Можно купить только VMware vSphere 6.
Но всегда можно сделать даунгрейд лицензий на vSphere 5.1 и 5.5.
Все равно нужен обычный vSphere Client для некоторых задач.
Поддержка системами резервного копирования
Если используете ПО на базе агентов в гостевой ОС - нет проблем.
Если же бэкап на уровне виртуальных машин - нужно проконсультироваться с вендором насчет совместимости с такими новыми функциями как VVOls, новый Fault Tolerance и прочими.
Планируете P2V-миграцию
-
Нужно иметь в виду, что средство переноса физических машин в виртуальные vCenter Converter 6.0 на данный момент недоступно.
Знаете еще причины, по которым не стоит обновляться на vSphere 6? Пишите в каменты!
P.S. Опытные люди говорят, что обновляться до Update 1 нельзя.
Мы не раз писали об утилите RVTools, которая помогает в вопросах администрирования виртуальной инфраструктуры VMware vSphere (конфигурации и аудит). На днях вышло обновление этого средства - RVTools 3.7.
Автор утверждает, что скачано уже более 400 тысяч копий утилиты. Давайте посмотрим, что там появилось нового:
VI SDK поменяно с версии 5.0 на 5.5.
Увеличен таймаут при операции получения данных с 10 до 20 минут для окружений с большим числом хостов.
Новое поле VM Folder на вкладках vCPU, vMemory, vDisk, vPartition, vNetwork, vFloppy, vCD, vSnapshot и vTools.
На вкладке vDisk появилась информация Storage IO Allocation.
На вкладке vHost новые поля: service tag (serial #) и строка OEM-производителя.
На вкладке vNic новое поле: имя (distributed) virtual switch.
На вкладке vMultipath добавлена информация о доступе по нескольким путям.
На вкладке vHealth новая проверка: Multipath operational state (состояние доступа по нескольким путям).
Еще одна новая проверка vHealth: Virtual machine consolidation needed (машины, для которых нужно консолидировать снапшоты).
На вкладке vInfo новые поля: boot options, firmware и Scheduled Hardware Upgrade.
На статус-баре появилась дата и время последнего обновления данных.
На вкладке vHealth ошибки поиска датасторов видны как предупреждения.
Можно экспортировать csv-файлы через интефейс командной строки (как и xls).
Можно установить интервал автообновления данных.
Все время и дата отформатированы в формате yyyy/mm/dd hh:mm:ss.
Папки со временем и датой также создаются в формате yyyy-mm-dd_hh:mm:ss.
Bug fix: на вкладке dvPort теперь отображаются все сети.
Скачать RVTools 3.7 можно по этой ссылке. Документация доступна тут. Молодец автор - столько лет прошло, а утилита продолжает обновляться.
Как вы знаете, недавно вышла новая версия платформы виртуализации VMware vSphere 6.0, для которой было также обновлено средство создания кластеров хранилищ VMware Virtual SAN 6.0 на базе локальных дисков серверов. Среди прочих новых возможностей VSAN, было сказано об улучшении производительности решения, что и решили проверить коллеги на тестах вот тут.
Тест проводился дома и не претендует на какую-либо достоверность, но, все же, его весьма интересно посмотреть. Автор взял 3 узла Shuttle SZ87R6 следующей конфигурации (надо отметить, что они не в HCL):
Для тестирования были использованы следующие гипервизоры:
ESXi 5.5 Update 2 (build 2068190)
ESXi 6.0 (build 2494585)
В качестве средства создания нагрузки взяли IOmeter, размещенный в виртуальной машине с двумя vCPU, 4 ГБ памяти и Windows Server 2012 в качестве гостевой ОС. Было также сконфигурировано 2 дополнительных виртуальных диска на контроллере PVSCSI:
Для IOmeter было создано три профиля нагрузки, размер Working Set - 100 МБ (204800 секторов). Малый размер Working Set был выбран для более быстрого прогрева кэша.
Profile 1
Profile 2
Profile 3
Worker 1
vDisk 1
vDisk 1
vDisk 1
Sectors
204800
204800
204800
Outst. IO
16
16
16
Worker 2
vDisk 2
vDisk 2
vDisk 2
Sectors
204800
204800
204800
Outst. IO
16
16
16
Read
100%
0%
65%
Write
0%
100%
35%
Random
100%
100%
60%
Sequential
0%
0%
40%
Block size
4 KB
4 KB
4 KB
Alignment
4096 B
4096 B
4096 B
Результаты (кликабельно):
Как мы видим, VSAN 6.0 показал себя лучше при всех типах нагрузки - выжимает больше IOPS и имеет меньшую задержку (latency), а именно:
VSAN 5.5 (он же 1.0) использует формат vmfsSparse, который, по-сути, является redo-логом. В версии VSAN 6.0 появился новый формат снапшота vsanSparse, который использует механизм redirect-on-write (подробнее тут).
Тест проводился просто - запустили IOmeter (профиль 3) и последовательно снимали снапшоты, наблюдая производительность с помощью VSAN Observer.
Светло-серые картинки - это VSAN 1.0 (5.5), а темно-серые - VSAN 6.0 (кликабельно). Обратите внимание, что значения по осям X и Y на картинках не всегда соответствуют.
Итак, Latency:
Кстати, временами по latency VSAN 6.0 хуже своей предыдущей версии.
По IOPS результаты интереснее:
При создании нагрузки в виде снапшотов VSAN 6.0 снижает производительность по IOPS на 8%, а вот предыдущая версия VSAN - на 49%. Преимущества нового формата очевидны.
Полоса пропускания (Bandwidth):
Интересный эффект - в VSAN 1.0 существенно увеличивается трафик на чтение после снятия каждого снапшота, при этом у VSAN 6.0 такого не происходит. Еще одно улучшение Virtual SAN 6.0.
В целом можно отметить, что производительность кластеров VSAN заметно возрасла, ну а оптимизация снапшотов улучшит и производительность процессов, использующих эту технологию (например, резервное копирование).
RSS
